Cao Đam sinh năm 537, là con trai thứ tư của Cao Hoan- là người khi đó nắm thực quyền trong chính trường Đông Ngụy - với vợ chính là Lâu Chiêu Quân. Song Cao Đam là người con trai thứ chín trong số toàn bộ những người con của Cao Hoan. Năm 544, nhằm hình thành một liên minh với Nhu Nhiên, Cao Hoan đã cho Cao Đam kết hôn với con gái có hiệu là Lân Hòa công chúa của Nhu Nhiên khả hãn Uất Cửu Lư Am La Thần (郁久閭菴羅辰). Tại lễ thành hôn của họ, Cao Đam được thuật là đã có hành động phù hợp mặc dù còn nhỏ tuổi, gây ngạc nhiên cho các vị khách. Sau đó, ông được phong tước Trường Quảng quận công. Sau cái chết của cha là Cao Hoan và anh cả Cao Trừng, người anh thứ hai của ông là Cao Dương trở thành người cai trị thực tế của Đông Ngụy, và đến năm 550, Cao Dương đã buộc Hiếu Tĩnh Đế phải nhường ngôi cho mình, tức là Bắc Tề Văn Tuyên Đế, kết thúc triều Đông Ngụy và mở ra triều Bắc Tề. Do là em ruột của hoàng đế, Cao Đam được phong vương.